IPUT VICON メモ
動画なし
カメラがずれたとき
緑
正常
赤
映像は受け取れているが、立体映像の作成には使われていない。
recover camera position
カメラのRotとPosを返す
オレンジ色の何かが人から出ている...
Ghost
使わないマーカのこと
ワンドを降りなおしたほうがいいぞ
Postの話
touka_aoi.icon何の略やねん
MCP
キーフレーム
プロップなどの情報はすべて入っている
ENF
Eclips ~
X2D
カメラデータ(120Hz)
Post
Ezaが知っているからいいか
DataBaseクリックして～DB表示
ExportでFbxとして保存
touka_aoi.iconここの設定が結構大事っぽいな
Shogunの骨の階層と普通の階層がある
ぶっちゃけよくわからん
liveからのキーのずれ
https://scrapbox.io/files/6183b0354fb4df002324185f.png
映像でわかるかどうかはあんまり...らしい
揺れ物などのシミュレーションの時、ぶれたりするらしい。
touka_aoi.icon知らんけど
Processing => からX2Dを起こす
Processing => Conbimed Processing
全部✅入れておくんですね
Retarget以外
reconstractino 三次元化
lavel マーカつける
消えたマーカを復活
いろいろあるらしいけど後で
Save
VDFで保存できる Postから作成したデータ
これにしとけば楽らしい
これからFBX
Panels => Batching ?
post processing
なんかいろいろあるらしい
Customにする場合は再起動らしい
Version?
モードだけは再起動らしい
要件
動画
ドキュメント
画像つき
目次
vicon起動方法
viconはmm単位で測定するため、初期設定時にカメラ位置の再測定などキャリブレーションが必要。
熱によって、金属物質が膨張してずれることがあるらしい。
電源のつけ方。
viconのスイッチングハブのコンセントを接続すればよい。
電源スイッチは存在しないため、コンセントの抜き差しで対応すること。
viconのバージョンについて
1.5系が検証されている。
1.6系については、未検証。
VP系のUpdateっぽいが...?
https://www.youtube.com/watch?v=MZWnDKkJHVg&t=236s
カメラのキャリブレーションの情報を保存できるっぽいが...?
PCの並びについて
touka_aoi.icon
shogun起動後
カメラ設定を行う
カメラのアイコンが水色の場合
カメラのキャリブレーションができていないです。
カメラパラメータの設定
初期設定
gain
thredthord 0.2
二値化の閾値
下げると感度が上がっていく。0にするとオーバーフローで白くなる。
stolobo 1
1にしとけ
シャッタースピード(120Hz)なので、ストロボ感度を挙げておかないと真っ暗になってしまう
カメラ番号はソフトウェアにて振っていく。
選択するとピカピカするので、こちら側でリナンバリングしよう。
マスク設定
反対側のストロボであったり、反射するものがあった場合、マスクをかけてマーカではないと宣言する。
マスクはカメラ画像に対してかけるため、3次元的にマスクをかけているわけではない
camera caliblation -> Start masking -> stopマスキング
自動でマスクをかける。
濃い青色でかけられる。
カメラの位置の構成
Start wave から始まる
wandを振る
https://scrapbox.io/files/61445546551ef1002032e2e5.png
このwandの規格からカメラの場所をセンシングする
規格については資料は見つけられなかった。
vicon active wand v2
いろんなアングルでカメラに見せてあげることが大切
複数のカメラに見せることも大切
動画データ(1)
どのくらい振ればいいんだ？touka_aoi.icon*12
視差からマーカー位置を作るためにワンドを振る
視差ってなんだよtouka_aoi.icon*10
レンズの画角とひずみも吸収する
What ??????touka_aoi.icon*5
構成するってなんだよ....
画像を調整するって意味かな...?
エリア中振る
振る速度は自由
キャリブレーションなので優しくしてあげましょう:D
291の範囲ではバミリまで
床の範囲は古いシステムの範囲だよ！！
キャリブレーションの成功
緑になると成功
カメラリストの緑のところは誤差
0.1ピクセルとかが出るらしい
画像用意求
赤と水色は失敗
ふぇえｘ
ViewPort設定
右上に分割設定がある
画像求
N番のカメラからの相対座標が取得できる
画像求
これを原点情報から回転させるぞ
右手座標系のYアップって何よtouka_aoi.icon*9
原点設定
action wand を置く
取っ手が正面
取っ手方面がY
T -> の --- 方向が X
上がZ
Start set origin を押す
画像求
view filter で いろいろ選択する
これはわからん....
調べてくれ
ワンドが見えたらcomplete set originを押すと座標系が定義される
回転行列をかけよう！！
オプションの話
さすが！！ kappa.icon
床の傾きを検出する
フロアのレベルだしとしてあげる
広く三転置かれていればいい？
多ければ多いほど平均をとるので均されていく
距離が離れているほうがいい。
が離れすぎるとデータの精度の問題でずれる可能性があるのでノウハウでよろしく:D
トラッカーを正方形の端に置いていく感じでいい
画像求
start set floor plane
height offset
床から何ミリかを指定できる
14mm 15mmマーカー
つまり床から7, 7.5mm
トラッカーの中心がオフセットと考える
台もあるから 9mm ぐらいにしておくわ
オフセットを設定して、ボタンを押す
平均で合わせる
option menuを出す
show advance でよい
カメラのキャリブレーション終了
カメラの番号直し
カメラ右クリック -> ReOrder
Auto number Camera おす
Lフレームから右下を1として時計回りでreorder される
vicon アクタースーツ
スーツをぴっちり切るのが大切
全部でトラッカーの数は57個
つけ方にも名前がある
プロダクションというマーカーセット
鎖骨のつなぎ目 胸のところ
かたいところ 骨の動きを取りたい
肋骨から来たところの胸骨の一番下にマーカをつける
後ろ
背骨のライン 首の付け根 (下を向いた時にポッコリするところ)
ではなくスーツの上くらいに一転
胸骨から来たところのここって感じだけど
前についているところの対象でおｋ
腕
肩の中心
回転の軸
肩のへこむところ二前後から挟むようにマーカーで印をつけていきます
こんなかんじですね
肘まげて肘の関節の上につける
肘の真上につけるといいと思います
内側は隠れやすくノイズになるので、
横とひじのところにする 上腕部で動かないように
手首
曲げたとき、若干前腕の骨に乗っけるというか肘側に曲げた時の角に挟み込むようにつけてあげます。:D
手
軽く握っていただいた時のこぶしの上に人差し指と人差し指の上においていきます
反対も同じようにやる
ライクラー生地
ライクラ®ファイバーは、クモの糸のように細く、透明で、引っ張ると元の長さの4～7倍にまで伸び、力を緩めればまたすぐに元に戻るという、優れた伸縮性をもつ合成繊維です。生地に伸縮性と回復性を加えます。
ライクラ®ファイバーを混用した衣料品は、動きやすく、しなやかな着心地と、快適なフィット感を着る人に提供します。ライクラ®ファイバーは、天然繊維や合成繊維を問わず、さまざまな繊維と組み合わせることができます。
マーカーはつかない
角がかかったりすると浮いたりしてしまう
これには就けないようにしよう
つるつるのところ
腰のマーカー
腸骨
腰の骨がでっぱているところ
その角のところに正面側から乗せるように置いていきます
片足ずつ膝を挙げてもらって、膝をあげても動かない
これがよい
腰を長方形と考えたときの4つ角につけるイメージで後ろもつける
足
膝の横からはさむ
のはうそで
膝のお皿の上におく
内側は見つけづらいから
足
くるぶし
設置してほしいから
くるぶしにつけるのではなく、靴につけたりする
エンタメと医療でだいぶ違う
足の甲
toeととるために曲げた時にあがったギリにつける
先端
マーカーは壊れやすいので上から先端につけてあげましょう
かかと
足の真ん中の低いところにつける
足首より下につける
足首より下の四点は
頭
こめかみのところからまっすぐ上げた防止のところにつけてあげる(淵)
正面とは長方形にならないほうがいいので 気持ち内側に2天付けてあげる
ラベル(まーかーIDをつけるときに分かりやすいように)
気持ち内側ってなんやねんtouka_aoi.icon
基本のマーカーはこれで終わり
補助マーカ
うで、あしのマーカーの間に補助的につけてあげる
アシンメトリーにつける
あとで、マーカー認識しやすいように
左右差をつけるためには上腕を三等分したときに右手が上側に来たら左手は下側につける
さんとうぶん！！
画像を参照して
補助マーカーの位置は自由に決めてよい
が、演技によって変えてよい
一般的に小指側につけておくと、腕組みなどのモーションを行ったときに補助マーカーがでやすい
あし
とりあえず前側においておきなさい
あしは2つだけか
太ももの大天使から三等分していただいて片方がうえ片方がしたと分けていただきます。:D
胴体
おおい
肩峰
肩の骨の上につける
ソケットの上？touka_aoi.icon
背中側
すでにあるマーカの左右に一点ずつつけていく
腰
前後のマーカーの間につける
頭
てっぺんのちょっとずらしたところにつける
左右対称だとどっちがみぎかわからんってことやな
なくしたら困るから袋を一セットにしとけ
ラベリングクラスター is 何
複数人で撮るときには、補助用に体につける(なんでもいいんですけど)ものがあるらしい
3人以上
点々のままでは使えないので、点々を一対一登録していくよ
Trackingのタブに移動
画像
人を登録するときはSubject
何が違うねん
テンプレートからつけ方を選ぶ
今回はprojection
Skinはshogunの表示のみ
ここでスタティックメッシュを追加したいね～
クラスターは私が騒いでいたやつ
どちらにも残す必要はなくて (こっち is どっち)
自動的に作られる
documents -> vicon -> subjects 内に記録データが残る
人のデータが残る
documents -> vicon -> props 内に
小物のデータが残る
https://scrapbox.io/files/614d535f8d0c32001d17dbae.png
右上にも残る。
同じリファレンスな気がするが...
データポインタだけ残るって感じかな...?
残しておくと便利なもの
使いたいと思ったときにすぐ使うものなど使いまわししたいものに残しておきたいね
Unityのプロジェクトっぽい感じで残っているよ☆彡
Subjectsに名前を入力するぞ
Aポーズをとります
Crateを押すと勝手に登録される
くそげーやん
つかないときはちょっとだけ動いてあげる
Accept A pose をクリック
関節中心位置を見つけるために体操する
動画ヨロ
クレッセント流
屈伸する
足を曲げる
かたあしずつあげてぐるぐる回す
膝も上げる キック
股関節を回す
反対も
リラックス
腰を曲げる
お辞儀してそらす
軽く足を開いて側屈
腰をひねるぐるぐる
かいせんする
足首から腰おわり
腕を回す
反対も
肘を曲げる
後ろにも
手首も返して一句
手首
上下、左右、ぐるぐる
手をピタッと合わせる
Tポーズ
首前
首後ろ
左右
首を回す
反対を回す
股関節をもう一回
一歩前にアキレス腱を行う
桃が伸びるくらい
CGのあわせとかは歩きとか入れてあげる
Aポーズに戻って
キャリブレーション終了
StopCalibulation
vicon プロップキャリブ
vicon -> motion builder
motion builder -> Unity
motino builder -> UE4
Unity -> virtual Camera
UE4 -> virtual Camera
virtual camera
https://scrapbox.io/files/614581012c29dc001d3f77d6.png
Q＆A
shogun post
Q, DCCツールによってはFBXのバージョンが対応してないとかあるよね渡部健司.icon
A, いろんなバージョンで書き出せるので、使いたいDCCツールによって設定してね
そんなに違いはないとかヲ.icon
Q, データをFBXでほしいときは、shogun postマストですか？
A, マストです（x2dファイルをpostで読み込み、FBXで書き出そう）
ほんまか？ motion builder で出力できる気がするけど...touka_aoi.icon
品質的な意味か？ヲ.icon
Liveからモーションビルダーへのストリーミングして、モーションビルダー側でレコーディングすると、キーが等間隔で打たれないから、postより汚いデータになるゾ
Q, postとモーションビルダーで書き出されたデータは見比べてわかるもんなの？
A, 寄ったらわかるんじゃね、それとゲームエンジンに持って行ったときに最適なデータじゃないと、シミュレーション（揺れ物）やるときにおかしなことになるかも
Q, postだけで収録できちゃうんすか渡部健司.icon
A, できないです
Q, MIHARAさんって誰ですか
A, MIHIRAですもちょ高ぶり.icon*30
(健司渡部健司.icon)
目次
１VICON
１．バイコンライブの電源を入れる
２．カメラのセッティング（カメラキャリブレーション）
３．保存先のデータファイルを作成する
４．スーツを着る
５．マーカーを貼る 57個
６. キャプチャーする
７．モーションビルダーを起動する
８．レコーディングする
９．ヒューマンIKに設定する
１０.セーブしてFBXファイルで送る
Viconの概要
VICONの仕様
複数の赤外線カメラでキャプチャー空間を撮影し、１つ１つの画像から得られる点群データを基にそれらの視差で対象物の距離を測定する。点群データは直径1㎝程度の（赤外線反射）マーカーがカメラから照射された赤外線をカメラに返すことで得られる。
（マーカーには反射テープが張ってあるのでこのテープを他に利用できれば更なる表現の模索が可能？）
得た点群データとボーンをVICONソフトで同期させ、そのボーンのLIVEキャプチャー情報を①録画してPostでFBX規格に落とし込むこと（→postのワークフローへ）や②録画情報やリアルタイム情報をMotionbuilderに送ってキャラクタライズする（→Motionbuilderのワークフローへ）事ことができる。
カメラの数・解像度・サンプリングレートに比例してキャプチャー範囲が広くなり精度が良くなる。
物体を挟むと一つの赤外線カメラで見えなくなったマーカーを測定することはできないので、四方に配置されたカメラで死角を失くし、互いにキャリブレーションされたカメラの位置で補完し合って撮影する。死角をなくすためにカメラポジションの増強も必要だがカメラの数も増えるためコストがその度にかかっていく。
解像度が上がればマーカーも1ｃｍ以下へと小さくしても精度が保証されるためマーカーが取れそうな接触を要するアクションの激しさにも対応することが出来る。
〈２９１室のスペック〉６ｍ＊６ｍ＊約３ｍ
・カメラの数
２４台
・サンプリングレート（1秒間で画像サンプルを処理する速度）
120/s
カメラポジションは改良の余地はあれどカメラが設置されている骨組みが天井から吊るされている建築構造上の問題で重さ、コスト等で改良に至ってない。
キャプチャーの処理方法
リアルタイム 「Vicon Live」 ライブイベント用
後から処理 「Vicon Post」 作品用 （（まだ分からない
＊LiveよりPostの方が高画質
【モーションキャプチャー手順】
VICON 24台のカメラ
PC 4台 VICON用 ＊２９１ルーム入って右から
Motion Builder用
Unreal Engine用
Unity用
ワンド：マーカーが付けられた棒みたいなやつ(291入って右の棚の中に入ってる)
スーツ
マーカー 57個
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
リアルタイム 「Vicon Live」 ライブイベント用
後から処理 「Vicon Post」 作品用
＊LiveよりPostの方が高画質
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
＊基はFilmBoxという名前だった
→つまりファイルのFBXファイルはモーションビルダーの元会社からきている
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
：５７個のマーカー
頭 ５個 前３ 後ろ２ 頂点は正面から見て中心からずらす
肩・胸 １２個 前胸２ 肩３ずつ 後ろ４
腹・背中 ６個 横腰つずつ
方腕 ８個 １６個 手の甲２ずつ 手首２ずつ 肘２ずつ 腕２ずつ
方足 ９個 １８個 つま先３ずつ くるぶし１ずつ かかと１ずつ 膝１ずつ 膝横１ずつ ふくらはぎの横１つずつ 太もも横１ずつ
（求：画像イメージ添付）
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
:手順
①電源を入れる
カメラ電源 横についてる上二つコンセントをいれるだけ ＊カメラを温める為に一番最初に入れる
Vicon shogun Live ver1.4.0 アプリの名前 を起動
左側 カメラ状態 緑の→ならば問題なし：赤いと問題あり enviomennt 200 : 3 : 2
右側 キャリブレーション 上から４つ ＊細かい設定をしたければ Showadvance
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
②カメラをセッティングする
「キャリブレーション4ステップ」
１.スタートマスキングを押す：写り込んでいる邪魔なもの（赤外線カメラ等）にマスク処理をしてなくす
終わったらストップマスク 30秒くらい
＊青いマークの部分がマスクした部分になる
２.スタートウェーブ：レンズなどの調整
ワンドを体から離してどのカメラにも映るように撮影範囲を塗るようなイメージで大きくいろんな角度で振る。振るのが早すぎると処理に優しくないので赤ちゃんを扱うように優しく満遍なく。
＊イメージエラー：0.3以内なら問題ない 3や４とかになると問題あり
３.スタートセットオリジン：座標系をそろえる為に歪みをなくせる
ワンドを中心に束の部分を手前においてボタンを押す
＊VICONは右手系Zupとなる
４.スタートセットフロアープレーン：地面を正確に判定させる
マーカーを灰色の四隅に置いてボタンを押す。末端ではなく少し余裕をもって内側に置く。
詳細設定の項目の中の地面からマーカーの距離：９mmは基本動かさない
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
③データベースを作る
Vicon Eqrips 2.1.5 イクリプスを立ち上げる：黒黄のやつ
まず、左上 NEWDATABASEをクリック
LocationとNameだけ記入：D/2021/vicondatabase に絶対保存する
Openを押す
上の３つを押す(project/day/session)
SessionをダブルクリックでViconとつなぐ
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
・＊この後キャプチャー前にマジで重要！ これ忘れるとマジでキャプチャーできない。2021/08/03経験談;;; ・
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
Vicon shogun Liveの画面右上「トラッキング」の画面右下
セットアップ
template： プロダクション
Skin： vicon male
Subject： 名前を入力
Createを押す
既存にある名前のついてる過去のものは消してよい。
よく使うものは保存しておいても良いが基本必要ないもの。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
④スーツを着る
帽子
長袖
長ズボン
腰ベルト
手袋 ２
靴用 ２
＊服のしわによって取れやすくなったり、正しい位置につけたはずのマーカーの位置がずれたりしないようになるべくぴっちり着る
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
⑤５７個のマーカーをつける
前、後ろ
頭 ５個 前２ 頂点１ 後ろ２ 頂点は正面から見て中心からずらす
肩・胸 １２個 鎖骨の中心１ みぞの少し上１ 肩を囲むように３ずつ 後ろ首の付け根１ 背骨の中心あたり１ 後ろ４
腹・背中 ６個 横腰３つずつ
方腕 ８個 １６個 手の甲２ずつ 手首２ずつ 肘２ずつ 腕２ずつ
方足 ９個 １８個 つま先３ずつ くるぶし１ずつ かかと１ずつ 膝１ずつ 膝横１ずつ ふくらはぎの横１つずつ 太もも横１ずつ
＊腰は膝を上げた時にずれないようにする
＊マーカーがずれてしまう為、スーツの青い部分に被らないようにすること
＊位置を左右互い違いにするのは処理を早くするのと前後確認を確立するため
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
⑥キャプチャーする
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
・＊この後キャプチャー前にマジで重要！ これ忘れるとマジでキャプチャーできない。2021/08/03経験談;;; ・
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
Vicon shogun Liveの画面右上「トラッキング」の画面右下
セットアップ
template： プロダクション
Skin： vicon male
Subject： 名前を入力
Createを押す
アクターにAポーズをとってもらいAccept Aposeを押す
体操を行う：ボーンが認識しているか確認
→基本的には足先から頭に向かって各関節を一回ずつしっかり動かす
体操が終わったら Stop calibrating
人ではなく物を登録したい場合：
spaceで一時停止する
登録したい点を選択した上で画面右側を下にスクロールしObjectのprop名を設定する
prop名：オブジェクトの名前となる(剣ならswordなど)
Createを押す
既存にある名前のついてる過去のものは消してもよい。
よく使うものは保存しておいても良いが基本必要ないもの。
全て済んだらNポーズ(ニュートラル)をとる
→足を拳一個分開けてリラックスした状態で手は自然に横に垂らす。顔は正面。
そこからtakeを設定し、画面右下のStartcaptureを押す
→Postへ（未研究）
→MotionBuilderへ
ほかのやつのひかくとか
測定方法とかなんとか
Vcionを使ったモーションキャプチャーのワークフロー
なんで劣化するねん....touka_aoi.icon*9touka_aoi.icon
UDPってことか...?
プロセスを変えたい....
x2d, mcp
shogun live 自体が劣化してるってことか？？？？？？？
streamingはむつかしいねんな....touka_aoi.icon
x2dはpostでのrecってことか....?
2種類のデータがつくられる～っよ☆
まあわからんが...
ViconのPlug in 最強だけどブラックボックスで難もわからんkappa.icon
HumanIKあたりのセットアップ
humanoid変換できない...
ほかのDCCにわたしたしよぅ
motion builer で李ターゲットしたい
リターゲットがつよい
ほんまか...?
version 1.6 にあるくね？しらんけど
まあshogun to vicon は viconがだしてるんですけどね....:D
motionbuilder -> Unity
モーションビルダーのプラグイン
わたしのすることtouka_aoi.icon
motinbuilder -> UE
全体概要 (用語説明)
ワークフロー + 概念
キャラクタ設定
MB
UE
Livelinkでのモーション送信
UEって？
軽く
つづきに...
バーチャルカメラへの応用
バーチャルカメラ
全体概要 (用語説明)
ワークフロー + 概念
ハードウェア設定
Vive
カメラ設定
UE
Unity
View Frustrum
おわり
映像編集
後回し
Motionbuilderのこと
Motinobuilderを使う理由
なぜMotionbuilderを通すのか
Charactarizeについて
https://scrapbox.io/files/615486239c1aac001dc8e612.png